Năm 1505, vào thời Isabella I, tu viện Hieronymite được chuyển từ một vị trí không thích hợp ở nơi khác đến địa điểm hiện tại của nhà thờ San Jerónimo el Real và một tu viện mới được xây dựng theo phong cách Isabelline Gothic. Vua Felipe II đã di rời hoàng gia Tây Ban Nha đến Madrid vào năm 1561. Ông đã giao cho kiến trúc sư Juan Bautista mở rộng Retiro và trồng cây tại những đại lộ chính.

Các khu vườn được mở rộng vào những năm 1620, khi Gaspar de Guzmán, Bá tước xứ Olivares dưới thời trị vì của vua Felipe IV đã hiến tặng một số vùng đất lân cận cho nhà vua để phục vụ cho mục đích giải trí của hoàng gia. Ông đã quyết tâm xây dựng một ngôi nhà hoàng gia phải cao cấp hơn những biệt thự mà các quý tộc La Mã đã thiết lập ở vùng ngoại ô đồi núi của Roma trong những thế kỷ trước. Mặc dù dinh thự hoàng gia thứ hai này sẽ được xây dựng ở khu vực xa xôi của Madrid khi đó, nó thực sự không xa pháo đài Alcázar hiện có, và nằm tại vị trí trong một khu vực nhiều cây cối mát mẻ được chứng minh là lý tưởng.

Vào những năm 1630, dưới sự giám sát của các kiến ​​trúc sư Giovanni Battista Crescenzi và Alonso Carbonell, một số tòa nhà đã được dựng lên rất vội vàng, hai trong số đó vẫn còn đứng vững, đó là "Casón del Buen Retiro" phục vụ như một phòng khiêu vũ và "Salón de Reinos"(Đại sảnh), nổi tiếng với những bức tranh tường của Diego Velázquez và Zurbarán cùng các bức bích họa của Luca Giordano.[1]

Bá tước Olivares đã ủy thác cho nhà thiết kế cảnh quan Cosimo Lotti, người từng làm việc với kiến trúc sư Bernardo Buontalenti trong việc thực hiện thiết kế cảnh quan vườn Boboli cho Cosimo I de' Medici, Đại công tước Toscana. Buen Retiro được mô tả là " Kỳ quan nghệ thuật thế giới thời bấy giờ", có lẽ là tác phẩm sáng tạo vĩ đại cuối cùng của thời kỳ Phục hưng ở Tây Ban Nha. Buen Retiro trở thành trung tâm đời sống của vương triều Habsburg vào thời điểm mà Tây Ban Nha vẫn là cường quốc hàng đầu thế giới. Trong các triều đại của Felipe IV và Carlos II, một số vở kịch tráng lệ đã được trình diễn trong công viên dành cho hoàng gia. Khu vườn sau đã bị bỏ quên sau cái chết của Felipe IV vào năm 1665, nhưng đã được khôi phục và thay đổi nhiều lần, đặc biệt là sau khi được mở cửa cho công chúng vào năm 1767, nó sau đó đã trở thành tài sản của thành phố vào năm 1868.[2]

Felipe V ra lệnh cho xây dựng một khoảng vườn trồng hoa, là khu vườn kiểu Pháp duy nhất trong khu phức hợp. Dưới thời kỳ trị vì của Fernando VI, Buen Retiro là bối cảnh cho những vở opera Ý hoành tráng. Carlos III nhìn ra vẻ đẹp trong hình dạng của nó nên đã cho thay thế những bức tường cũ bằng những lan can bằng sắt trang nhã. Đài quan sát Hoàng gia Madrid là công trình được xây dựng dưới thời vua Carlos IV bởi kiến trúc sư Juan de Villanueva